Es un eufemismo, y en realidad se usa más en plural como "romper las paciencias", para que se note bien que significa "romper las pelotas".
Sinónimos de romper la paciencia son romper las bolas hinchapelotas
"Romper la paciencia es una expresión de ciclanes."